Hamiltonian Monte Carlo（HMC）是Markov链算法，用于从具有密度$ e^{ - f（x）} $的高维分布中进行采样，可访问$ f $的梯度。一种特殊的感兴趣的情况是带有协方差矩阵$ \ sigma $的$ d $二维高斯分布，在这种情况下$ f（x）= x^\ top \ top \ sigma^{ - 1} x $。我们表明，HMC可以使用$ \ wideTilde {o}（\ sqrt {\ kappa} d^{1/4} \ log（1/\ varepsilon），使用$ \ varepsilon $ -close在总变化距离中取样。）$渐变查询，其中$ \ kappa $是$ \ sigma $的条件号。我们的算法对哈密顿动力学使用了长时间和随机的整合时间。这与最近的结果（并受到了）的形成对比，该结果给出了$ \ widetilde \ omega（\ kappa d^{1/2}）$查询的HMC较低限制，即使是高斯案例，也有固定的集成时间。

Efficient and robust control using spiking neural networks (SNNs) is still an open problem. Whilst behaviour of biological agents is produced through sparse and irregular spiking patterns, which provide both robust and efficient control, the activity patterns in most artificial spiking neural networks used for control are dense and regular -- resulting in potentially less efficient codes. Additionally, for most existing control solutions network training or optimization is necessary, even for fully identified systems, complicating their implementation in on-chip low-power solutions. The neuroscience theory of Spike Coding Networks (SCNs) offers a fully analytical solution for implementing dynamical systems in recurrent spiking neural networks -- while maintaining irregular, sparse, and robust spiking activity -- but it's not clear how to directly apply it to control problems. Here, we extend SCN theory by incorporating closed-form optimal estimation and control. The resulting networks work as a spiking equivalent of a linear-quadratic-Gaussian controller. We demonstrate robust spiking control of simulated spring-mass-damper and cart-pole systems, in the face of several perturbations, including input- and system-noise, system disturbances, and neural silencing. As our approach does not need learning or optimization, it offers opportunities for deploying fast and efficient task-specific on-chip spiking controllers with biologically realistic activity.

Diffusion models have quickly become the go-to paradigm for generative modelling of perceptual signals (such as images and sound) through iterative refinement. Their success hinges on the fact that the underlying physical phenomena are continuous. For inherently discrete and categorical data such as language, various diffusion-inspired alternatives have been proposed. However, the continuous nature of diffusion models conveys many benefits, and in this work we endeavour to preserve it. We propose CDCD, a framework for modelling categorical data with diffusion models that are continuous both in time and input space. We demonstrate its efficacy on several language modelling tasks.

Can continuous diffusion models bring the same performance breakthrough on natural language they did for image generation? To circumvent the discrete nature of text data, we can simply project tokens in a continuous space of embeddings, as is standard in language modeling. We propose Self-conditioned Embedding Diffusion, a continuous diffusion mechanism that operates on token embeddings and allows to learn flexible and scalable diffusion models for both conditional and unconditional text generation. Through qualitative and quantitative evaluation, we show that our text diffusion models generate samples comparable with those produced by standard autoregressive language models - while being in theory more efficient on accelerator hardware at inference time. Our work paves the way for scaling up diffusion models for text, similarly to autoregressive models, and for improving performance with recent refinements to continuous diffusion.

由于结构化数据通常不足，因此在开发用于临床信息检索和决策支持系统模型时，需要从电子健康记录中的自由文本中提取标签。临床文本中最重要的上下文特性之一是否定，这表明没有发现。我们旨在通过比较荷兰临床注释中的三种否定检测方法来改善标签的大规模提取。我们使用Erasmus医疗中心荷兰临床语料库比较了基于ContextD的基于规则的方法，即使用MEDCAT和（Fineted）基于Roberta的模型的BilstM模型。我们发现，Bilstm和Roberta模型都在F1得分，精度和召回方面始终优于基于规则的模型。此外，我们将每个模型的分类错误系统地分类，这些错误可用于进一步改善特定应用程序的模型性能。在性能方面，将三个模型结合起来并不有益。我们得出的结论是，尤其是基于Bilstm和Roberta的模型在检测临床否定方面非常准确，但是最终，根据手头的用例，这三种方法最终都可以可行。

城市规划师越来越多地使用基于深度学习的计算机视觉模型来支持塑造城市环境的决策。这样的模型预测人们如何从例如它的安全或美丽。但是，深度学习模型的黑盒本质阻碍了城市规划师，以了解哪些景观对象有助于特别高质量或低质量的城市空间感知。这项研究调查了如何使用计算机视觉模型来提取有关人们对城市空间的看法的相关政策信息。为此，我们训练了两个广泛使用的计算机视觉架构。卷积神经网络和变压器，并应用Gradcam（一种众所周知的可解释的AI技术），以突出图像区域对模型的预测很重要。使用这些GradCAM可视化，我们手动注释与模型的感知预测相关的对象。结果，我们能够发现以前研究中用于注释的当前对象检测模型中未表示的新对象。此外，我们的方法论结果表明，变压器架构更适合与GARGCAM技术结合使用。代码可在GitHub上找到。

摄像机传感器越来越多地与机器学习相结合，以执行各种任务，例如智能监视。由于其计算复杂性，这些机器学习算法中的大多数都被卸载到云中进行处理。但是，用户越来越关注第三方云提供商诸如功能蠕变和恶意使用之类的隐私问题。为了减轻这一点，我们提出了一个基于边缘的过滤阶段，该阶段在将传感器数据传输到云之前，该阶段去除对隐私敏感的属性。我们使用最先进的图像操纵技术，以利用删除表示形式来实现隐私过滤。我们定义选择加入和退出过滤器操作，并评估其从面部图像过滤私人属性的有效性。此外，我们研究了自然发生的相关性和剩余信息对过滤的影响。我们发现结果有希望，并相信这会进一步研究如何将图像操纵用于隐私保护。

基于机器学习的模型最近获得了吸引力，作为通过构建提供快速准确的性能预测的模型来克服FPGA下游实现过程的一种方式。但是，这些模型有两个主要局限性：（1）培训需要大量数据（从FPGA合成和实施报告中提取的功能），这是由于耗时的FPGA设计周期而具有成本范围的； （2）针对特定环境训练的模型无法预测新的未知环境。在云系统中，访问平台通常是昂贵的，ML模型的数据收集可以显着增加系统的总成本所有权（TCO）。为了克服这些限制，我们提出了Leaper，这是一种基于FPGA的基于转移学习的方法，可将现有的基于ML的模型适应新的，未知的环境，以提供快速准确的性能和资源利用预测。实验结果表明，当我们使用转移的模型进行5次学习的云环境中的预测并将设计空间探索时间从天数到几个小时，我们的方法平均提供了85％的精度。

通过时间（BPTT）的反向传播是训练复发性神经网络（RNN）的事实上的标准，但它是非毒性和非局部性的。实时复发性学习是一种因果替代方法，但效率很低。最近，E-Prop被提出为这些算法的因果，局部和有效的实用替代方法，通过从根本上修剪随时间携带的经常性依赖性来提供确切梯度的近似值。在这里，我们使用详细的符号从BPTT得出RTRL，从而为它们的连接方式带来了直觉和澄清。此外，我们在图片中内部构图E-Prop，使其近似。最后，我们得出了一种特殊案例的算法系列。

隐式辐射功能作为重建和渲染3D场景的照片真实观点的强大场景表示形式出现。但是，这些表示的编辑性差。另一方面，诸如多边形网格之类的显式表示允许易于编辑，但不适合重建动态的人头中的准确细节，例如精细的面部特征，头发，牙齿，牙齿和眼睛。在这项工作中，我们提出了神经参数化（NEP），这是一种混合表示，提供了隐式和显式方法的优势。 NEP能够进行照片真实的渲染，同时允许对场景的几何形状和外观进行细粒度编辑。我们首先通过将3D几何形状参数化为2D纹理空间来解开几何形状和外观。我们通过引入显式线性变形层来启用几何编辑性。变形由一组稀疏的密钥点控制，可以明确和直观地移位以编辑几何形状。对于外观，我们开发了一个混合2D纹理，该纹理由明确的纹理图组成，以易于编辑和隐式视图以及时间相关的残差，以建模时间和视图变化。我们将我们的方法与几个重建和编辑基线进行比较。结果表明，NEP在保持高编辑性的同时达到了几乎相同的渲染精度。